Het huis de Lalaing werd gebouwd op het oude pandjeshuis of Lombardenhuis van Pamele. In 1519 staat het vermeld als "Hof van Schorisse", later "Huis van Luxemburg"; in 1714 "Hotel van Egmont", "Hotel de Berlaimont". Het werd meerdere malen verkocht. Sedert 1976 is het eigendom van de stad Oudenaarde.